Abstract :This article is the result of an investigation on the relevance of typographic marking in verbal and mathematical reasoning items of the Academic Aptitude Test (PAA: Spanish acronyms) of the University of Costa Rica. The objective is to gather evidence on the influence of the marking (bold, underline and capital letters) on the instruction of the selected items and to observe if there are variations in the technical properties when these marks of emphasis are present or not. From an exploratory study, with a qualitative approach, information was collected from interviews with a group of first-time students entering the university for 2019. The analysis focused on the particles ''No'', ''False'', ''True'' ''Certainty'' and ''Contradicts'' and the reasons for maintaining their marking, according to the people interviewed, obeyed to three fundamental reasons: 1. It is a strategy for highlighting key words such as negations. 2. It clarifies the question or instruction of the item. 3. It allows attention to be maintained during reading. The main results show that there is no significant difference between maintaining and eliminating marking regardless of the type of item and population, so that its use should be dispensed with for a standardized test such as the PPA.

Resumo :Este artigo é o resultado de uma investigação sobre a relevância da marcação tipográfica nos itens de raciocínio verbal e matemático do Teste de Aptidão Acadêmica (PAA) da Universidade da Costa Rica. O objetivo é reunir evidências sobre a interferência da marcação (negrito, sublinhado e letras maiúsculas) na instrução dos itens selecionados e observar se há variações nas propriedades técnicas quando essas marcas de ênfase estão presentes ou não. A partir de um estudo do tipo exploratório, com abordagem qualitativa, foram coletadas in- formações de entrevistas com um grupo de alunos iniciantes na universidade para 2019. A análise se concentrou nas partículas ''Não'', ''Falso'', ''Verdadeiro'', ''Com certeza'' e ''Contradiz'' e as razões para manter sua marcação, de acordo com as pessoas entrevistadas, se devem a três motivos fundamentais: 1. 2. esclarece a pergunta ou a instrução do item. 3. permite que a atenção seja mantida durante a leitura. Os principais resultados mostram que não há diferença significativa entre manter e eliminar a marcação, independentemente do tipo de item e da população, de modo que seu uso deve ser dispensado em um teste padronizado como o PPA.

Resumen :El presente artículo es producto de una investigación sobre la relevancia de la marcación tipográfica en ítems de razonamiento en contexto verbal y matemático de la Prueba de Aptitud Académica (PAA) de la Universidad de Costa Rica. El objetivo consiste en recabar evidencia sobre la injerencia de la marcación (negrita, subrayado y mayúsculas) en la instrucción de los ítems seleccionados y observar si existen variaciones en las propiedades técnicas cuando presentan o no estas marcas de énfasis. Desde un estudio de tipo exploratorio, con un enfoque cualitativo, se recabó información a partir de entrevistas a un grupo de estudiantes de primer ingreso a la universidad para el 2019. El análisis se centró en las partículas ''No'', ''Falso'', ''Verdadero'' ''Con certeza'' y ''Contradice'' y las razones para mantener su marcación, según las personas entrevistadas, obedece a tres razones fundamentales: 1. Es una estrategia para resaltar palabras claves como las negaciones. 2. Clarifica la pregunta o instrucción del ítem. 3. Permite mantener la atención durante la lectura. Los principales resultados muestran que no hay una diferencia significativa entre mantener y eliminar la marcación independientemente del tipo de ítem y de la población, de tal modo que conviene prescindir de su uso para una prueba estandarizada como la PPA.

Abstract The standardized tests used to select applicants to enter the university must guarantee equal opportunities and equity. The item repositories constitute a valuable source of information on the consideration of the item as an object of study. The purpose of the research is to analyze the suitability of the item repository for people with hearing and visual disabilities. The research used a mixed and descriptive approach, it was carried out between 2016 and 2020, 636 items from the repository were used and 5 experts judges participated, the study variables were the judging criteria and the suitability of the item, and the techniques used were the content analysis and the check sheet. We found that 31% of the items in the repository are not suitable for people with visual disabilities and judging criteria are more frequently elements that make reading more complex and contrast between the statement and response options. On the other hand, 58% of the items in the repository are not suitable for people with hearing disabilities and the most frequent judging criteria is unsuitable vocabulary. They indicate the relevance of adjusting the text of the item, suppressing hegemonic visual discourses that possibly affect the execution of the test in people with visual disabilities and the creation of a repository of items in sign language for people with hearing disabilities that guarantee equity in the execution of a standardized test of high consequences for the people who participate in the process of admission to the University.

Resumo As provas padronizadas utilizadas para selecionar os candidatos ao ingresso na universidade devem garantir igualdade de oportunidades e equidade. Os bancos de itens constituem uma fonte valiosa de informações sobre a consideração do item como objeto de estudo. O objetivo da pesquisa é analisar a adequação do banco de itens para pessoas com deficiência auditiva e visual. A pesquisa utilizou uma abordagem mista e descritiva, foi realizada entre 2016 e 2020, foram utilizados 636 itens do banco e participaram 5 juízes especialistas, as variáveis do estudo foram os critérios de julgamento e a adequação do item, e ases técnicas utilizados foram a análise de conteúdo e a folha de verificação. 31% dos itens do banco não são adequados para pessoas com deficiência visual e os critérios de julgamento são mais frequentemente elementos que tornam a leitura mais complexa e contraste entre a afirmação e as opções de resposta. 58% dos itens do banco não são adequados para pessoas com deficiência auditiva e o critério de julgamento mais frequente é o vocabulário inadequado. Indicam a relevância de adequar o texto do item, suprimir discursos visuais hegemônicos que possivelmente afetem a execução do teste em pessoas com deficiência visual e a criação de um banco de itens em língua de sinais para pessoas com deficiência auditiva que garanta a equidade .na realização de um teste padronizado de altas consequências para as pessoas que participam do processo de admissão à Universidade.

Resumen Las pruebas estandarizadas utilizadas para seleccionar a las personas aspirantes a ingresar a la universidad deben garantizar la igualdad de oportunidades y la equidad. Los bancos de ítems constituyen una valiosa fuente de información sobre la consideración del ítem como objeto de estudio. El propósito de la investigación fue analizar la idoneidad del banco de ítems para personas con discapacidad auditiva y visual del Programa Permanente de la Prueba de Aptitud Académica (PPPAA) de la Universidad de Costa Rica (UCR). La investigación utilizó un enfoque mixto y de carácter descriptivo, se realizó entre 2016 y 2020, se utilizaron 636 ítems del banco y participaron 5 personas que aportaron el criterio (experto) de idoneidad para cada ítem. El criterio de juzgamiento y la idoneidad del ítem constituyeron las variables de este estudio. Las técnicas utilizadas fueron el análisis de contenido y la hoja de cotejo. Los resultados indicaron que el 31% de los ítems del banco no se consideraron aptos para personas con discapacidad visual y que los criterios de juzgamiento con mayor frecuencia fueron los elementos que complejizan la lectura y el contraste entre enunciado y opciones de respuesta. Adicionalmente, se obtuvo como resultado que el 58% de los ítems del banco no se consideraron aptos para personas con discapacidad auditiva y que el criterio de juzgamiento con mayor frecuencia fue el de vocabulario no apto. Las conclusiones señalan la pertinencia del ajuste del texto del ítem, suprimiendo discursos visuales hegemónicos que posiblemente inciden en la ejecución de la prueba en personas con discapacidad visual. Además, se destaca la importancia de la creación de un banco de ítems en lengua de señas para personas con discapacidad auditiva que garantice la equidad en la ejecución de una prueba estandarizada de altas consecuencias para las personas participantes en el proceso de admisión a la Universidad.

Resumen El objetivo de esta investigación es generar evidencias sobre el dominio léxico en el contexto de relaciones semánticas de sinonimia, antonimia y temática. Basado en un estudio de enfoque mixto, se construyeron y validaron, mediante juicio de personas expertas, los ítems del instrumento. Posteriormente, este se aplicó a 3864 personas aspirantes que realizaron la Prueba de Aptitud Académica (PAA) para el ingreso a la Universidad de Costa Rica en el 2021 y cuyas edades comprenden de los 17 a los 21 años. Recabados los datos, se analizaron las cargas factoriales, la dificultad, la discriminación, la curva de información y los distractores de cada ítem. Los hallazgos de la investigación señalan que efectivamente el léxico se puede medir en tres categorías que representan relaciones amplias y comunes en el contexto de la lectura. La habilidad para identificar este tipo de relaciones incide en el desempeño de las personas evaluadas al resolver ítems de las categorías de parafrasear, oponer y reducir, propias de la PAA. La resolución de estos ítems depende en cierta medida del nivel léxico. Por lo tanto, es recomendable comprender el dominio léxico ligado a estas relaciones semánticas en sí, libres del contexto, para tener certeza de que no se afecta la medición de las habilidades generales de razonamiento o para encontrar los mecanismos que eviten factores causantes de varianza irrelevante al constructo.

Abstract This work aims to generate evidence of lexical mastery in the context of the semantic relationships of synonymy, antonymy, and theme. This multidisciplinary study analyzed an instrument composed of 21 items, presented to 3864 applicants that took the Academic Aptitude Test (Prueba de Aptitud Académica (PAA) in Spanish) for admission to the University of Costa Rica in 2021, and whose ages ranged from 17 to 21 years. The results show that lexical mastery can indeed be measured in three categories that represent broad and common relationships in reading. The ability to identify these types of relationships affects the applicants’ performance, especially when solving items in the categories of opposition, paraphrase and reduction (all typical to the PAA) that require a level of lexical proficiency. Therefore, it is important to understand the links between lexical mastery and the semantic relationships themselves, free of context, to ensure that the measurement of general reasoning abilities is not affected, or to find mechanisms that avoid factors causing irrelevant variances in the instrument.

Abstract: The aim of this article is to analyze the psychometric properties of the German Test Anxiety Inventory adapted to Costa Rica (GTAI-CR), based on the Graded Response Model. For this purpose, the instrument administered to 184 people (101 men, 82 women and 1 person no identified with the previous categories). Each of the four subscales of the GTAI was evaluated independently. It was found that the subscales globally and their items independently showed an acceptable fit to the model. The characteristic curves of each category in each item were plausible for representative population groups. On the other hand, for each subscale, the range where the estimates of these latent scores presented acceptable accuracies was calculated. Finally, recommendations are presented for the GTAI-CR scales to improve the precision of the scores in which they provide low information.

Resumen: El presente artículo tiene como objetivo analizar las propiedades psicométricas del Inventario Alemán de Ansiedad ante los exámenes adaptado a Costa Rica (GTAI-CR), con base en el modelo de respuesta graduada. Para este propósito se aplicó el instrumento a 184 personas (101 hombres, 82 mujeres y 1 persona no identificada con las categorías anteriores). Cada una de las cuatro subescalas del GTAI fue evaluada de manera independiente. Se obtuvo que las subescalas de forma global y sus ítems de forma independiente mostraron un ajuste aceptable al modelo. Las curvas características de cada categoría en cada ítem fueron plausibles para grupos representativos de población. Por otro lado, en cada subescala se calculó el rango donde las estimaciones de estas puntuaciones latentes presentaron precisiones aceptables. Finalmente, se presentan recomendaciones para que las escalas de la GTAI-CR puedan mejorar la precisión de las puntuaciones en las que brindan baja información.

RESUMO Objetivo. Avaliar o impacto das intervenções realizadas na Costa Rica durante 2020 e 2021 para o controle da pandemia de COVID-19. Método. Foi utilizado um modelo Bayesiano de regressão de Poisson que incorporou as medidas de controle ou intervenção como variáveis independentes sobre a variação do número de casos por semana epidemiológica. Resultados. Os resultados evidenciaram o efeito relativo e conjunto que as políticas ou medidas de contenção tiveram na redução de casos, principalmente as restrições a veículos, o uso de máscaras e a implementação de diretrizes e protocolos de saúde. As evidências dos efeitos foram otimizadas e disponibilizadas às autoridades sanitárias e de emergência do país para auxiliar na tomada de decisão. Diversas iterações foram geradas para o monitoramento constante da variação nos efeitos em quatro momentos distintos do avanço da pandemia. Conclusão. A aplicação simultânea de diferentes medidas de mitigação na Costa Rica tem sido um agente promotor da diminuição de casos de COVID-19.

ABSTRACT Objective. Assess the impact of interventions introduced in Costa Rica during 2020 and 2021 to control the COVID-19 pandemic. Methods. A Bayesian Poisson regression model was used, incorporating control or intervention measures as independent variables in the changes in reported case numbers per epidemiological week. Results. The results showed the relative and combined impact of containment policies and measures on the reduction of cases: mainly vehicular traffic restrictions, use of masks, and implementation of health guidelines and protocols. Evidence of impact was optimized and made available for decision-making by the country’s health and emergency authorities. Several iterations were generated for constant monitoring of variations in impact at four different moments in the pandemic’s spread. Conclusion. The simultaneous implementation of different mitigation measures in Costa Rica has been a driving force in reducing the number of COVID-19 cases.

RESUMEN Objetivo. Evaluar el impacto de las intervenciones introducidas en Costa Rica durante 2020 y 2021 para el control de la pandemia por COVID-19. Método. Se empleó un modelo bayesiano de regresión de Poisson que incorporó las medidas de control o intervención como variables independientes sobre la modificación de la cantidad de casos por semana epidemiológica. Resultados. Los resultados evidenciaron el efecto relativo y conjunto que han tenido las políticas o medidas de contención en la reducción de casos, principalmente la restricción vehicular, el uso de mascarillas y la puesta en práctica de los lineamientos y protocolos sanitarios. Las evidencias de los efectos se optimizaron y se pusieron a disposición para la toma de decisiones de las autoridades sanitarias y de emergencia del país. Se generaron varias iteraciones para el monitoreo constante de la variación en los efectos en cuatro momentos distintos del avance de la pandemia. Conclusión. La aplicación simultánea de distintas medidas de mitigación en Costa Rica ha sido un agente promotor de la disminución de casos de COVID-19.

Resumen El objetivo del presente artículo es brindar evidencias de validez y de confiabilidad sobre una prueba nueva para medir el nivel de comprensión lectora de estudiantes universitarios. Para ello se empleó un diseño de investigación observacional y transversal, mediante la cual se aplicó la prueba a un grupo de 244 estudiantes de primer ingreso a una carrera universitaria. Los resultados fueron analizados con base en la Teoría Clásica de los Test y en el modelo de Rasch, así como también se estimó el coeficiente de correlación de Pearson entre las puntuaciones en la prueba y un curso universitario de primer año de carrera. El principal hallazgo de este estudio es la creación de una prueba de 44 ítems que permite generar puntuaciones con una confiabilidad de 0,74 y que presentan una correlación estadísticamente significativa (p < 0,000) de 0,21 [0,09, 0,33] con las notas de estudiantes en un curso de carrera de primer año. Con base en los análisis efectuados, se concluye que la prueba podría ser útil para detectar estudiantes de primer ingreso a la educación superior que podrían presentar problemas de comprensión lectora y, por ende, ver disminuido su rendimiento académico. En este sentido, la prueba podría servir para propósitos de screening, es decir, para coadyuvar en la elaboración de planes remediales, implementación de intervenciones educativas y desarrollo de unidades didácticas orientadas al fortalecimiento de la comprensión lectora de los(as) estudiantes universitarios de primer ingreso.

Abstract The goal of this article is to provide evidence as to the validity and reliability of a new Reading Comprehension test aimed at college students which is based on an observational and cross-cutting research design. The test was taken by 244 students in the first year of their major. The results were analyzed according to the Classical Test Theory, the Rasch Model and a Pearson correlation coefficient to compare the scores obtained with first year courses taken by students for their Major. As a result of the study, a 44-item was elaborated with a reliability scale of 0.74 and a statistically significant correlation scores of 0.21 [0.09, 0.33] (p < 0.000) for student grades in first-year courses. It can be concluded that this test could be useful to detect reading comprehension difficulties among first-year university students which could potentially negatively impact their academic performance. The test could also serve as a screening tool in the development of remedial programs to strengthen reading comprehension among these students.

Abstract The objective of this article is to describe the possible elements of comprehension that affect the response to new items on a verbal reasoning test. The starting point was the verbal report of a group of thirteen students obtaining high and low scores on an academic aptitude test at Universidad de Costa Rica. An exploratory qualitative study identified five irrelevant elements for comprehension: lexicon, rhetoric, length, very specific context, and use of previous knowledge, which affect the response to items of reasoning in the verbal context. The recognition of these aspects was a result of the research project, which aimed at determining the elements of the sentence, instructions, or detractors that hindered comprehension, and defining their relationship to the difficulty assigned by the test-taker. The suggestion was made to use the verbal report to generate evidence of validity for an admissions test.

Resumen El objetivo de este artículo es describir cuáles son los posibles elementos de comprensión que afectan la resolución de ítems nuevos en una prueba de razonamiento verbal. El punto de partida fue el reporte verbal de un grupo de 13 estudiantes que obtuvieron altas y bajas puntuaciones en la Prueba de Aptitud Académica de la Universidad de Costa Rica. Se realizó un estudio cualitativo exploratorio en el que se identificaron cinco elementos irrelevantes para la comprensión: léxico, redacción, extensión, contexto muy específico y uso de conocimiento previo, que afectan la resolución de ítems de razonamiento en contexto verbal. El reconocimiento de estos aspectos derivó de los resultados de un proyecto de investigación, que buscó determinar los elementos del enunciado, la instrucción o los distractores que dificultan la comprensión y la relación con la dificultad asignada por el examinado. Asimismo, se planteó el uso del reporte verbal como generador de evidencias de validez para una prueba de admisión.

Resumen En este artículo se presenta un estudio cuantitativo cuyo objetivo fue poner a prueba un nuevo método para recabar evidencias sobre los procesos de respuesta utilizados por los examinados en pruebas educativas. Como antecedente fundamental, el estudio parte de la necesidad de contar con métodos sistemáticos para mejorar la calidad de los instrumentos que se utilizan en la evaluación educativa. Se comparó el método tradicional, de los reportes verbales, con el método de la Respuesta Guiada por el Experto con respecto a su idoneidad para recabar evidencias sobre la interpretación de las puntuaciones en una prueba educativa. Para esto, se seleccionó una muestra a conveniencia de 17 estudiantes de primer ingreso de la Universidad de Costa Rica y se le aplicó una entrevista semiestructurada a cada uno, en las cuales debían resolver ítems de razonamiento en voz alta empleando el método tradicional de reportes verbales o el método de la Respuesta Guiada por el Experto. Las entrevistas fueron codificadas por un grupo de expertos y se calculó un coeficente de acuerdo entre ellos. Con el método tradicional se obtuvo un coeficiente kappa de Fleiss de 0.22, mientras que, con el método de la Respuesta Guiada por el Experto, este fue de 0.40. Se concluye con las ventajas de utilizar este método para desarrollar instrumentos de evaluación educativa que representen adecuadamente las habilidades, destrezas, competencias y conocimientos de los estudiantes.

Abstract This article presents a quantitative study whose objective was to test a new method to collect evidence about the response processes used by examinees in educational tests. As a fundamental precedent, the study starts from the need to have systematic methods to improve the quality of the instruments used in educational assessment. A traditional method of verbal reports was compared to the Expert-guided Responses method regarding its suitability to gather evidence for scores interpretation in an educational test. For this purpose, a convenience sample of 17 first-year students from the University of Costa Rica was selected and a semistructured interview was applied to each, in which they had to solve reasoning items aloud using the traditional method of verbal reports, or the Expert-guided Responses method. The interviews were coded by a group of raters, and a coefficient of agreement between them was calculated. With the traditional method, a Fleiss kappa coefficient of 0.22 was obtained, whereas with the Expert-guided Responses method it was 0.40. The article concludes with the advantages of using the new method to develop educational assessment tools that adequately represent the students’ abilities, skills, proficiencies, and knowledge.

Resumen La premisa de este estudio consiste en que un modelo cognitivo permite a las personas mejorar el desempeño en la resolución de preguntas de una prueba estandarizada donde el uso de estrategias tiene un papel crucial. El propósito de la investigación fue validar un modelo cognitivo con cuatro estrategias definidas por jueces expertos con base en los procesos de respuesta que subyacen a ítems de la Prueba de Aptitud Académica de la Universidad de Costa Rica (UCR). Se realizaron ocho en trevistas semiestructuradas a estudiantes de la UCR, quienes estaban cursando el primer año en esta institución y se aplicaron las técnicas de reporte verbal para obtener evidencias de los procesos de respuesta de los ítems. Se analizaron los reportes para comprobar la correspondencia entre el marco de las estrategias definidas previamente por jueces expertos y las respuestas dadas por los participan tes. Los resultados indicaron que los participantes siguieron las estrategias propuestas para la solu ción de las situaciones planteadas por los jueces; por tanto, los ítems son indicadores de los procesos subyacentes a estas estrategias. Estos hallazgos abren la posibilidad de implementar investigaciones con atributos presentes en cada estrategia propuesta de este estudio, que posibiliten predecir las pun tuaciones de la prueba en el rendimiento académico en la UCR.

Abstract The premise of this study is that a cognitive model can increase students’ performance for solving items on a stan dardized test, where strategies play a crucial role. The purpose of the study is to validate a cognitive model with four strategies defined by expert judges based on the response processes that underlie the items of the University of Costa Rica (UCR) Academic Aptitude Test. Eight semi-structured interviews were conducted with first-year students at UCR and the techniques of verbal reporting were applied to gather evidence of the items’ response processes. The reports were analyzed to verify the correspondence between the framework of the strategies pre viously defined by expert judges and the answers given by the participants. In light of the results, it was concluded that the participants followed the proposed strategies for solving the situations posed, and, therefore, the items are indicators of the processes underlying these strategies. The results open the possibility of implementing research with attributes present in each strategy proposed in this study, which will allow predicting test scores in academic performance at the UCR.

Resumen: Los estándares actuales, para la evaluación de la calidad psicométrica de las pruebas psicológicas y educativas, estipulan que una de las evidencias requeridas que justifican las inferencias derivadas de la aplicación de un test se refiere a las estrategias para contestar a los ítems que lo componen. Por lo tanto, el objetivo del presente artículo se propone presentar los resultados de una investigación, que consistió en la ejecución de entrevistas semiestructuradas a un conjunto de 15 estudiantes universi tarios de primer ingreso, cuyos reportes orales fueron analizados con el objetivo de fundamentar un conjunto de estrategias para contestar los ítems verbales de la Prueba de Aptitud Académica de la Universidad de Costa Rica, que habían sido identificadas previamente. Los resultados indican que efectivamente los participantes emplearon las estrategias propuestas, lo cual constituye una eviden cia de gran importancia sobre las habilidades de razonamiento que se miden con los ítems verbales de la Prueba de Aptitud Académica. Finalmente, se concluye con una discusión sobre los resultados acerca de la utilidad de los autorreportes verbales que recaban evidencias de validez para un test y sobre futuras investigaciones en esta línea.

Abstract: Current standards for assessing the psychometric quality of psychological and educational tests stip ulate that one indication required to justify the inferences derived from the application of a test are those related to answering strategies for the test items. Thus, this article presents the results of a study that involved the execution of semi-structured interviews with a group of 15 college freshmen, whose oral reports were analyzed to provide support for a set of strategies to answer previously identified verbal items from the “Academic Aptitude Test” (Prueba de Aptitud Académica) at the Universidad de Costa Rica. The results indicate that participants actually used the proposed strategies, which is important evidence about the reasoning skills measured by the Prueba de Aptitud Académica verbal items. Finally, we conclude with a discussion of the results, the usefulness of verbal self-reports to gather evidence for test validity and future research along these lines.

Resumen. Se usó un diseño cuasi-experimental con pre y post-test para estimar el efecto de una capacitación para la prueba de admisión de la Universidad Costa Rica, un test estandarizado que mide habilidades de razonamiento en contextos verbales y matemáticos. Cuatro colegios públicos del área metropolitana central del país participaron en el estudio, asignándose dos de ellos aleatoriamente al grupo de intervención y los otros dos al grupo de control, con 61 estudiantes en el primer grupo y 80 en el segundo. La intervención consistió de 5 sesiones de capacitación de 3 horas, utilizando como guía un manual desarrollado por una experta pedagoga, con enfoque constructivista. Las medidas antes y después fueron formas reducidas de la prueba de admisión 2014. La variable dependiente fue la diferencia entre ambas mediciones. El efecto de la capacitación fue de 3.5 puntos porcentuales y significativo, y se estimó utilizando un modelo bayesiano de regresión multinivel.

Abstract. A quasi-experimental design with pre and post- test was used to estimate training effects for the University of Costa Rica’s admission test, a standardized exam that measures reasoning abilities in mathematical and verbal contexts. Four secondary public schools from the metropolitan central area of the country participated in the study; two of them were randomly assigned to the intervention group and the other two to the control group, with 61 students in the first group and 80 in the second. The intervention consisted of five three-hour training sessions, using a written guide developed by a pedagogy expert with a constructivist approach. Before and after measures were reduced test forms of the real admission test from the year 2014. The dependent variable was the difference between the two measures. The effect of the training was estimated using a multilevel Bayesian regression model with a significant magnitude of 3.5 percentage points.